\documentclass[supercite]{Mid_Report}

\title{基于RPN特征对齐的域自适应点云目标检测}
\stunum{M202173827}
\author{郭璐}
%\coauthor{张三、李四}
\major{计算机技术}
%\costunum{U202115631、U202115631}
\instructor{陈加忠} % 该系列实验报告模板由华科大计院教师陈加忠制作
\school{计算机科学与技术学院}
\organization{华中科技大学研究生院制}
\date{2021年11月11日}

\usepackage{algorithm, multirow}
\usepackage{algpseudocode}
\usepackage{amsmath}
\usepackage{amsthm}
\usepackage{framed}
\usepackage{mathtools}
\usepackage{subcaption}
\usepackage{xltxtra} %提供了针对XeTeX的改进并且加入了XeTeX的LOGO, 自动调用xunicode宏包(提供Unicode字符宏)
\usepackage{bm}
\usepackage{tikz}
\usepackage{tikzscale}
\usepackage{pgfplots}
%\usepackage{enumerate}

\pgfplotsset{compat=1.16}

\newcommand{\cfig}[3]{
  \begin{figure}[htb]
    \centering
    \includegraphics[width=#2\textwidth]{images/#1.tikz}
    \caption{#3}
    \label{fig:#1}
  \end{figure}
}

\newcommand{\sfig}[3]{
  \begin{subfigure}[b]{#2\textwidth}
    \includegraphics[width=\textwidth]{images/#1.tikz}
    \caption{#3}
    \label{fig:#1}
  \end{subfigure}
}

\newcommand{\xfig}[3]{
  \begin{figure}[htb]
    \centering
    #3
    \caption{#2}
    \label{fig:#1}
  \end{figure}
}

\newcommand{\rfig}[1]{\autoref{fig:#1}}
\newcommand{\ralg}[1]{\autoref{alg:#1}}
\newcommand{\rthm}[1]{\autoref{thm:#1}}
\newcommand{\rlem}[1]{\autoref{lem:#1}}
\newcommand{\reqn}[1]{\autoref{eqn:#1}}
\newcommand{\rtbl}[1]{\autoref{tbl:#1}}

\algnewcommand\Null{\textsc{null }}
\algnewcommand\algorithmicinput{\textbf{Input:}}
\algnewcommand\Input{\item[\algorithmicinput]}
\algnewcommand\algorithmicoutput{\textbf{Output:}}
\algnewcommand\Output{\item[\algorithmicoutput]}
\algnewcommand\algorithmicbreak{\textbf{break}}
\algnewcommand\Break{\algorithmicbreak}
\algnewcommand\algorithmiccontinue{\textbf{continue}}
\algnewcommand\Continue{\algorithmiccontinue}
\algnewcommand{\LeftCom}[1]{\State $\triangleright$ #1}

\newtheorem{thm}{定理}[section]
\newtheorem{lem}{引理}[section]

\colorlet{shadecolor}{black!15}

\theoremstyle{definition}
\newtheorem{alg}{算法}[section]

\def\thmautorefname~#1\null{定理~#1~\null}
\def\lemautorefname~#1\null{引理~#1~\null}
\def\algautorefname~#1\null{算法~#1~\null}

\begin{document}

\maketitle

\thispagestyle{empty}
\statement

\clearpage


%\tableofcontents[level=2]

\clearpage

\pagenumbering{arabic}

\section{研究背景与意义}

\subsection{课题来源}

作为计算机视觉领域的一个重要研究方向，基于空间测量的点云数据相比平面的图像数据，可以提供更加丰富的几何形状和结构信息，能为真实世界的场景感知与语义理解带来更多的可能性。从点云数据中对物体进行目标检测，在自动驾驶、机器人、虚拟现实等领域有很多应用。然而，由于不同类型的3D传感器、天气条件和地理位置等因素，采集的点云数据不可避免地会产生域差异\cite{Zhang2022TGRS}，在一个特定域（即源域）生成的3D检测器往往由于域差异的影响，导致在新的测试域（即目标域）中性能下降，从而无法很好地进行推广。从不同领域收集更多的训练数据可以缓解性能下降的问题\cite{VPFNet2023TMM} 。但是，考虑到各种现实场景和3D标注的巨大成本，这种解决方案是很难实现的。因此，在实际应用中，将有标签源域中训练得到的3D检测器有效地适应于新的无标签目标域，即无监督域自适应\cite{VirPNet2024TMM}，成为了3D场景下计算机视觉的热门方向。

\subsection{目的和意义}

激光雷达 (Light Detection and Ranging, LiDAR) 点云中的目标检测是计算机视觉的一项基本任务，旨在识别和定位感兴趣的目标。其中，最先进的检测器通常需要大量的训练样本，并带有边界框和语义标签的标注，造成了巨大的成本。为了解决这一挑战，学者们提出了无监督域适应\cite{DAS2024TMM}，将从带标注的源域数据集中学习到的模型适应到无标注的目标域数据集中，使模型在目标域中也能表现出较好的性能。

目前，在域自适应点云目标检测领域中，一些研究成果针对数据处理展开，通过点云补全以恢复底层的完整3D曲面\cite{DA-Net2023TMM}或对目标对象进行缩放以数据增强\cite{VoxelSet2022CVPR}，虽然在SN\cite{SP-Det2024TMM}已经取得了很好的结果，但该方法需要统计目标域的物体大小，其有效性很大程度上取决于数据分布。另一种常见的无监督域自适应方法是特征对齐，一般体现为骨干网络特征对齐\cite{MSSA2024ToMM}与区域提案网络 (Region Proposal Network, RPN) 特征对齐\cite{AVP2024TIV}。在训练过程中通过最小化域差异，构建跨域的不变特征表示，以此对齐特征。但是，这些的研究工作大部分都在检测器的骨干网络中对齐特征，忽略了RPN模块的可移植性。有研究表明，RPN候选框的质量对于跨域对象检测尤为重要，仅对骨干网中的特征进行调整和对齐是不足以产生高质量的RPN候选框的，因为在骨干网络上的对抗学习忽略了区分前景和背景的可辨别性\cite{ST3D2021CVPR}。相对于对二维图像目标检测的无监督域自适应领域的深入研究\cite{ST3D++2023PAMI, SRDAN2021CVPR, PERE2024CVPR}，应用在3D点云目标检测方面的特征对齐研究成果较少。当前，通过自训练为目标域数据生成伪标签，已经成为一种简单有效的无监督域自适应技术\cite{VPFNet2023TMM}，首先在源域数据集上对模型进行预训练，然后在伪标签生成和目标域数据集上的模型训练之间进行迭代，直到达到收敛。但是，这种自训练方式将粗糙生成的伪标签直接作为预测结果，忽略了生成的严重伪标签噪声，容易在迭代伪标签生成和模型训练过程中累积错误，导致模型性能下降。同时，该方式也没有考虑源域数据集和目标域数据集的特征对齐，忽略了前景概率与背景概率的作用。

目标检测中的RPN模块的特征对齐可以有效区分目标域中的前景和背景，为目标域生成高质量的候选框。但是，已有的域自适应点云目标检测方法，多数没考虑到目标检测中的RPN特征对齐。针对以上问题，本课题提出一种基于RPN特征对齐的域自适应点云目标检测方法，通过构建一组可学习的RPN原型，然后使源域和目标域中的前景RPN特征和背景RPN特征与相应的RPN原型保持一致。通过对RPN原型的学习，可以有效对齐前景RPN特征与背景RPN特征，得到高质量的候选框，生成更准确的伪标签，以此提高模型性能。

\section{国内外研究概况}

点云数据是一种典型的稀疏无序三维数据，数据点的位置、间隔等在三维空间中的分布不规则。基于点云的三维目标检测的难点主要在于点云的不规则性。同时，不同时间、地点的各种设备捕获的数据集往往表现出相当大的域差异，使得域自适应点云目标检测成为了高挑战性的方向。因此，学者们针对性地提出了诸多理论和方案，推动LiDAR点云目标检测技术的发展进步。本课题将从点云目标检测、无监督域自适应、跨域目标检测三个方面对当前性能优异的研究成果进行概括。

\subsection{点云目标检测}

由于点云数据具有丰富的空间信息，点云目标检测在近年来的许多工作中受到越来越多的关注，在工业界和学术界得到了广泛的关注。

一些研究成果利用基于点的方法直接处理无序点云，使用PointNet\cite{PointNet2017CVPR}或PointNet++\cite{PointNet++2017NeurIPS}提取特征。这些方法通常采用不同的采样和分组策略，以减少内存和计算成本。PointNet\cite{VirPNet2024TMM} 系列直接将点云数据作为输入，从3D点云中学习3D表达以实现分类和分割。F-PointNet\cite{JDA2013ICCV}首先先利用2D图像检测器生成感兴趣区域，然后基于2D检测结果的点云截锥体把PointNet\cite{VirPNet2024TMM}的思想用于3D目标检测以估计3D目标的边界框。PointRCNN\cite{VirPNet2024TMM}提出了一种两阶段的3D目标检框架，在第一阶段分割得到前景点云，并直接从前景点云中生成少量高质量的3D候选框，第二阶段用轻量级的PointNet\cite{FastPoint2019CVPR}对生成的候选框进行细化，而不是只使用点云进行3D检测的2D图像。STD\cite{VirPNet2024TMM}把稀疏表达的点云特征变换为紧凑的体素，得到稀疏到密集的策略，以更好地细化建议。这些基于点的方法大多利用了PointNet系列\cite{Long2015ICML}，该系列网络为点云特征学习提供了灵活的感受野。

另一方面，为了解决点云数据格式不规则的问题，部分研究将点云投影到规则网格上，由2D或3D卷积神经网络进行处理。先驱工作MV3D\cite{CL3D2023AAAI}将点云投射到2D鸟瞰图网格中，利用点云的鸟瞰图表示来生成高度精确的3D候选框，并通过从多个视图将3D候选框投影到特征图中，提取区域特征。接下来的工作\cite{Waymo2020CVPR}提出了一种综合考虑二维和三维目标检测、地面估计和深度补全的多任务多传感器检测模型，通过点特征和候选框特征融合以实现多传感器融合。而PointPillars\cite{levie2018cayleynets}提出了更有效的鸟瞰图表示框架，将点云划分为垂直列的格式，然后利用PointNet\cite{VirPNet2024TMM}学习这些垂直列的特征表达。为了捕捉局部结构，有学者提出了带有边缘卷积网络的DGCNN\cite{GPA-3D2023ICCV}，将点云建模为图，恢复点云数据的拓扑信息以增强点云的表达能力，并利用图神经网络提取特征。VoxelNet\cite{MCD2018CVPR}将点云划分为3D体素，由3D 卷积神经网络进行处理，并引入了3D稀疏卷积。这些基于体素的方法通常可以有效地生成精确的3D候选框，但感受野受到2D或3D卷积核大小的限制。

同时，还有一些研究成果同时利用点和体素两种方法。PV-RCNN\cite{KITTI2012CVPR}是一个两阶段的三维检测框架，结合了基于体素的特征学习和基于PointNet\cite{MMD2006Bioinfo}的特征学习，利用稀疏卷积生成较高质量的3D候选框，而基于PointNet\cite{Transfer2010TNN}的方法可以捕捉更准确的上下文信息，感受野灵活，从而提高三维检测性能。在PV-RCNN\cite{Density-Aware2022CVPR}的基础上，该作者提出了一种更先进的两阶段目标检测网络PV-RCNN++\cite{PointRCNN2019CVPR}，通过以扇区为中心的关键点采样策略进行更有效地采样，同时利用矢量池聚合，以更高效地编码稀疏和不规则点云上的局部特征，以实现更准确、高效和实用的三维目标检测。PV-RAFT\cite{VoxelNet2018CVPR}提出了点体素相关性场，设计点体素相关字段来捕获相关性，以多尺度方式对目标点云进行体素化以构建金字塔相关体素，这些场融合了基于点和基于体素的相关性的优点。

\subsection{无监督域自适应}

当前，无监督域自适应已被广泛研究用于各种计算机视觉领域，例如识别、检测、分割等任务。由于深度学习在不同领域取得了较多的成果，基于卷积神经网络的域适应方法被提出，大致可分为基于统计的方法和基于对抗学习的方法。

基于统计的方法\cite{ST3D++2023PAMI, SRDAN2021CVPR, PERE2024CVPR}通常使用基于统计的度量来减小两个领域之间的域差异。为了克服这种差异，有学者提出了一种极其简单的方法SN\cite{REDB2023ICCV}，利用汽车尺寸的汇总统计数据计算均值，在输出注释和输入信号中纠正这种偏差。SRDC\cite{DA-Net2023TMM}利用结构化正则化深度聚类方法，采用了一种灵活的基于深度网络的判别聚类框架，使网络预测标签分布与引入的辅助标签分布之间的KL差异最小。为减轻噪声伪标签的影响，MMT\cite{SPG2021ICCV}训练两个配对网络，利用聚类生成伪标签，并使用移动平均网络纠正细化伪标签，然而，这种训练方法容易导致两个模型相互拟合。

基于对抗学习的方法\cite{ST3D++2023PAMI, Long2016NeurIPS, PERE2024CVPR}使用生成对抗网络来学习域不变表示。ADDA\cite{Density2023CVPR}首先使用源域中的标签学习判别表示，然后通过域对抗性损失学习的非对称映射，将目标数据映射到相同空间的独立编码。MADA\cite{DA-Net2023TMM}捕获多模式结构，以支持基于多个域鉴别器的不同数据分布的细粒度对齐，通过随机梯度下降和线性时间反向传播梯度的计算，促进相关数据的正转移和减轻不相关数据的负转移。有学者提出了分层梯度同步方法\cite{UDA2015ICML, ADDA2017CVPR, PERE2024CVPR}，包括类级对齐、组级对齐和全局对齐在内的层次域对齐，以建模局部分布和全局分布之间的同步关系，获得更精确的域不变特征。AADA\cite{DA-Net2023TMM}设计了一种非对称训练方案，通过基于自动编码器的域鉴别器，保持源域特征固定，并鼓励目标域特征接近源域特征，这最好地保持了从源域标记数据中学习到的特征可辩别性。这些方法利用领域分类器来衡量域差异，并以对抗的方式训练域分类器和特征提取器。此外，CDANs\cite{PointDAN2019NeurIPS}设计了两种新的条件反射策略来捕获特征表示和类预测之间的互协方差依赖性，并提出了一种新的域分类器的损失函数，以完全匹配源域和目标域之间的特征。

\subsection{跨域目标检测}

在跨域目标检测领域，学者们提出了许多性能优越的模型。有学者提出了一种结合弱全局对齐和强局部对齐的无监督域自适应目标检测方法\cite{zhang2015perceptual}，构建一个域分类器来实现强的局部对齐，将对抗性对齐损失集中在全局相似的图像上实现弱全局对齐。这些传统的特征级域自适应方法从两个数据集中提取域不变特征，忽略了除了骨干网络之外的区域提案网络 (Region Proposal Network, RPN) 和区域提案分类器 (Region Proposal Classifier, RPC) 模块的自适应。CoT\cite{GermanyUSA2020CVPR}提出在RPN和RPC之间进行协同训练，具体来说，高置信度的输出作为相互指导来训练彼此，低置信度的输出用于RPN和RPC之间的差异计算和极大极小优化。同时，有学者[7]提出采用可学习原型对中间的RPN特征进行对齐，使用经过过滤的RPC检测结果生成伪标签，并定期更新，然后根据交并比 (Intersection over Union, IoU) 阈值选择RPN候选框。此外，还从RPC中引入了Grad CAM技术，以更准确地提取RPN特征\cite{ST3D2021CVPR}。为解决域差异问题，有学者\cite{ResNetAttention2017}在Faster R-CNN\cite{ST3D2021CVPR}模型中加入了图像级和实例级的两个区域自适应分量，以最小化两个区域之间的Η-散度，并进一步在不同层次的域分类器之间引入一致性正则化，以学习Faster R-CNN\cite{SECOND2018MDPI}模型中的域不变RPN。

但是，当前的域自适应目标检测方法大多是针对2D图像识别设计的。由于点云数据是一种独特的3D数据，将2D检测器直接用于3D目标检测任务可能导致这些检测器无法很好地工作。基于伪标签的自训练方法是域自适应的一种常用方法。为了避免标签噪声造成的误差，有学者提出了一种不确定感知的平均教师框架\cite{ST3D2021CVPR}，该框架在训练过程中隐式过滤不正确的伪标签，利用平均教师网络可以通过降低不确定伪标签对应的损失来进行隐式过滤，同时对齐来自学生和教师网络的预测，实现了较好的性能。Dreaming\cite{PV-RCNN2020CVPR}利用额外的跟踪器和时间一致性正则化，在时间上向前和向后推断轨迹，沿目标点云序列生成更好的伪标签用于自训练。SRDAN\cite{Multi-level2021ICCV}建立在基于体素的方法之上，在尺度感知和距离感知范围内特征对抗性对齐方式来匹配两个域之间的分布，通过距离引导域对齐模块来对齐具有不同稀疏程度的对象的局部特征，通过全局对齐模块来学习全局权重图以进行更精细的对齐。ST3D\cite{ST3D2021CVPR}提出了一种自适应三维对象检测的自训练方法，在目标域上交替进行伪标签更新和数据增强的模型训练，对检测器进行迭代改进，生成的3D检测器在跨数据集适应方面取得了很好的结果，但ST3D依赖于SN的统计归一化方案，需要在训练前先统计目标域的物体大小。此外，还有学者提出了使用类原型来减轻伪标签噪声的影响\cite{Attentive2024WACV}，通过计算与类原型的相似度，来识别错误伪标签对应的类预测，对其损失进行减权，以防止自训练过程中出现强化错误。

\section{研究内容及预期目标}

\subsection{主要研究内容}

本选题的目的在于研究基于RPN特征对齐的域自适应目标检测算法。通过实验对比上述主流架构的优缺点，尝试在以往的研究中归纳总结出一定的域自适应网络的规律，提出将RPN特征对齐应用于域自适应点云目标检测的新网络结构，从而达到提升模型性能的目标。主要研究内容如下：

\begin{enumerate}
	\item[1)] 对比域自适应点云目标检测领域基于不同实现架构的域自适应目标检测算法的优劣势，总结造成方法间差异化的根本原因。
	\item[2)] 设计并实现一个基于RPN特征对齐的域自适应目标检测算法。其整体框架如图\ref{fig3-1}所示，总共包括四个模块：骨干网络模块、RPN模块、生成伪标签模块、特征对齐模块。其中，骨干网络模块将原始点云通过卷积转化成二维鸟瞰 (Bird's Eye View, BEV) 特征图，并输入到RPN模块中。
	\item[3)] 实现设计的网络并用在已有的公开数据集上测量性能，与已有的算法对比各指标的差异，从中总结实验心得经验，并以此为基础对后续的研究方向进行展望。
\end{enumerate}

\subsection{研究内容及预期目标}

\begin{figure}[htb]
	\begin{center}
		\includegraphics[scale=0.40]{fig1.pdf}
		\caption{源域与目标域的不同分布示意图}
		\label{fig3-1}
	\end{center}
\end{figure}

本选题的目的在于研究基于RPN特征对齐的域自适应目标检测算法。通过实验对比上述主流架构的优缺点，尝试在以往的研究中归纳总结出一定的域自适应网络的规律，提出将RPN特征对齐应用于域自适应点云目标检测的新网络结构，从而达到提升模型性能的目标。因此，设计并实现一个基于RPN特征对齐的域自适应目标检测算法。

算法整体框架如图\ref{fig3-1}所示，总共包括两个模块：骨干网络模块、特征对齐模块。其中，骨干网络模块将原始点云通过卷积转化成二维鸟瞰 (Bird's Eye View, BEV) 特征图，并输入到RPN中。实现设计的网络并用在已有的公开数据集上测量性能，与已有的算法对比各指标的差异，预期取得比已有算法更优异的性能。


本课题预期达到的目标主要有以下几点：

1) 设计并实现点云骨干网络模块。作为整个算法的前导模块，骨干网络模块目的在于有效地提取输入的点云数据的特征，将得到的特征图作为后续模块的输入。同时骨干网络也作为基础检测器，通过对抗学习以对齐骨干网络的特征。

2) 设计并实现RPN模块。该模块将输入的特征图转化为RPN特征，进行分类和框回归预测，通过对预测结果进行处理，得到高置信度的3D候选框。

3) 设计并实现生成伪标签模块。该模块的设计目的是减少噪声伪标签，提高伪标签的质量。这一步中需要对RPN模块中得到的3D候选框进行精炼，为目标域构造高质量伪标签。其中，源域直接使用真值标签 (Ground Truth, GT) 。

4) 设计并实现特征对齐模块。该模块的作用是利用RPN原型进行特征对齐。在该模块中构建可学习的原型，使用原型作为中介，使源域和目标域的前景RPN特征和背景RPN特征与对应的原型保持一致。通过对损失函数的学习，使学习到的RPN模块实现更好的跨域可移植性。


\section{技术方案}

针对以上研究内容，本课题采取以下技术方案：

\subsection{骨干网络模块}

该模块以PV-RCNN模型作为基本目标检测器。当前，许多先进的三维检测器同时利用了体素与PointNet系列，得到了优异的性能。如图\ref{fig4-1}所示，PV-RCNN模型由一个以稀疏卷积为骨干的3D体素卷积神经网络组成，采取两阶段步骤，有效地提取特征并生成候选框。其中，在经过第一阶段的3D稀疏卷积后，生成了2维BEV特征图，输入到RPN模块中进行下一步处理。对于骨干网络的特征对齐，参考以往的优秀方案\cite{ST3D++2023PAMI, SRDAN2021CVPR, PERE2024CVPR}，优化函数集成了两大损失，即检测损失和域对抗损失，前者应用于源域，后者应用于源域和目标域。

\subsection{特征对齐模块}

该模块的目的在于得到RPN特征与3D候选框。多数研究中的RPN模块由RPN特征提取，RPN分类与RPN框回归三个部分组成，一般的技术方案为：对RPN特征生成一组锚框作为基准框，判断锚框作为前景或者背景的概率进行分类，并对锚框进行RPN框回归以此对锚框进行细化，使锚框更加接近GT值。其中，RPN特征提取、RPN分类与RPN框回归三个部分一般通过卷积完成。最终，RPN模块挑选出了可能包含目标的3D候选框以及其为前景或者背景的概率。

\subsubsection{生成原型}

目标检测任务中的一项挑战就是混淆的背景和前景，检测器很难正确地区分稀疏对象和广泛的背景。为了提高精度，应抑制混淆特征的不正确对齐，因此，本课题通过分别构建前景原型与背景原型，让前景特征强制与前景原型对齐，而背景特征与背景原型对齐，使前景特征与背景特征相区分。
由于目标域的标签无法访问，多数研究使用伪标签来计算原型。然而，在噪声标签存在的情况下，通过传统的特征聚类方法进行原型的表示学习，比如聚类和去除异常值，不足以获得真正的代表性原型。为了解决这个问题，本课题提出了一种原型转换器，利用自注意力机制专注于显著感兴趣区域进行原型计算。通过计算与原型的相似度来识别的错误伪标签，并降低对应的预测值，以防止自我训练过程中的强化错误。

参考已有成果ViT，本课题通过转换器构建两个可学习的原型，分别为前景原型和背景原型。原型转换器如图\ref{fig4-2}所示。RPN特征被发送到线性投影层以形成特征嵌入，这些嵌入又输入到一组标准编码器中。该编码器将每个特征嵌入编码为一系列值和相应的键-查询对，最终输出是一组注意力区域特征。借助自注意力机制，学习了正区域特征之间的互相关，进而学习(学习一个区域?)为原型计算贡献显著信息的感兴趣区域。在训练过程中，迭代计算的每个注意力原型(在每次迭代计算中, 模型中的注意力原型$y_1$)都与上一次迭代中计算得到的原型相结合(如何结合?)，得到本次迭代的最终原型。第一次迭代的初始原型为RPN特征的平均值(为什么第一次是RPN特征的平均值而不是Attentive ROI特征的平均值?)。


\begin{figure}[htb]
	\begin{center}
		\includegraphics[scale=0.8]{fig2.pdf}
		\caption{基于RPN特征对齐算法的整体框架}
		\label{fig4-1}
	\end{center}
\end{figure}

\subsubsection{RPN特征对齐}

该模块的目的是生成高质量的伪标签。在多数目标检测的域自适应部分，在目标域中生成的RPN候选框往往通过非极大值抑制 (Non-Maximum Suppression, NMS)得到前景概率较高的候选框，并作为伪标签应用到训练过程中。然而，通过这种方式，前景候选框的数量是足够的，同时获得的位置是不精确的，可能误导RPN的训练。为了提高生成的伪标签质量，本课题预计参考ST3D\cite{zhang2019linked}中的伪标签生成方案，通过标签存储器存储伪标签，并在训练过程中不断更新存储器，以此获得稳定的高质量伪标签。


\begin{figure}[htb]
	\begin{center}
		\includegraphics[scale=0.5]{fig3.pdf}
		\caption{基于Transformer的原型生成模块}
		\label{fig4-2}
	\end{center}
\end{figure}

\subsubsection{域对抗学习}

该模块的作用是利用RPN原型进行特征对齐。RPN在目标检测器的域自适应中起着重要的作用，对RPN特征进行对齐可以充分利用前景概率与背景概率。本课题参考RPA\cite{ST3D++2023PAMI, SRDAN2021CVPR, PERE2024CVPR}，在本模块中构建两个可学习的原型，分别为前景原型和背景原型，通过对损失函数的学习，前景RPN特征被强制与前景原型对齐，而背景RPN特征与背景原型对齐。同时，RPN模块生成的3D候选框通常包含前景和背景内容，不同候选框中前景和背景内容的比例相差很大。因此，在RPN特征对齐中，对于目标检测器中涉及到的多种目标类别，需要平衡不同类的数目，以使最终的检测工作顺利进行。

\section{当前成果}

\subsection{数据集与评估指标}

如图\ref{fig5-1}，实验考虑了三个流行的大规模自动驾驶数据集，这些数据集之间存在相当大的域差距，Waymo开放数据集、KITTI数据集和nuScenes数据集。其中最大的数据集是Waymo，在6个美国城市收集了超过230K带注释的激光雷达帧。nuScenes数据集由28K/6K帧组成。最小的数据集是KITTI，由从德国收集的7,481个（3K/3K分割）带注释的激光雷达帧组成。使用的所有训练数据和验证数据来源于官方网站。

实验体现在两个方面：从标签丰富域到标签不足的域（即Waymo 到其他数据集）和使用不同激光雷达类型的跨域实验（即Waymo$\rightarrow$nuScenes和nuScenes$\rightarrow$KITTI）。此外，我们只包括对Car类别的目标检测任务，以使评估在计算上易于后续研究。

\begin{figure}[htb]
	\begin{center}
		\includegraphics[scale=1.0]{fig4.pdf}
		\caption{SECOND-IoU检测器在Waymo$\rightarrow$nuScenes跨域任务可视化图}
		\label{fig5-1}
	\end{center}
\end{figure}

实验遵循KITTI的官方评估指标，选择平均精度AP（IoU阈值为0.7）作为性能指标，以Closed Gap表示适应后性能可能存在的上限：


\begin{enumerate}
	\renewcommand{\labelenumi}{\theenumi)}
	\item 硬件设备：台式电脑
	\item 操作系统：Windows 10
	\item 编程语言：Python, C++
	\item 编程工具：PyCharm
\end{enumerate}

\subsection{实验结果}

表\ref{table1}展示了算法实验结果，并将其与三种域适应方法进行比较：SN(需给出引用)，Attentive Prototypes(需给出引用)、ST3D(需给出引用)。表中，SN使用目标域边界框统计的弱监督方法，Attentive Prototypes、ST3D在阈值源模型生成的伪标签上重新训练对象检测器。作为参考，我们还与``Source Only''、``Oracle''结果进行了比较，Source Only代表利用源域数据训练得到的模型在目标域上的性能，Oracle代表利用目标域数据训练得到的模型在目标域上的性能。(Oracle神谕、权威)

\begin{table}[h] % 参数h表格放当前位置
	\begin{center}
		\setlength{\tabcolsep}{1.0mm}
		\caption{Results of $\mathrm{AP_{BEV}}$ at moderate difficulty level for the domain adaptation task Waymo$\rightarrow$KITTI with SECOND and PV-RCNN. The best performance is in \textbf{bold}.}
		\label{table1}
		\begin{tabular}{c|c|c|c|c}
			%\hline
			\cline{1-5}
			\multirow{2}{*}{Method}& \multicolumn{2}{c|}{SECOND} & \multicolumn{2}{c}{PV-RCNN}\\
			\cline{2-5}
			%\hline
			& \multicolumn{1}{c|}{$\mathrm{AP_{BEV}}$}   & \multicolumn{1}{c|}{$\mathrm{Closed~Gap}$}  & \multicolumn{1}{c|}{$\mathrm{AP_{BEV}}$}    & \multicolumn{1}{c}{$\mathrm{Closed~Gap}$}\\			
			\hline
			\hline
			Source Only                         & 51.48    & --        & 61.23              & --         \\
			SN	\cite{GermanyUSA2020CVPR}       & 76.61    & 79.00\%   & 79.86              & 67.01\%    \\
			ST3D \cite{ST3D2021CVPR}	        & 77.62    & 82.18\%   & 84.07              & 82.16\%    \\
			REDB \cite{REDB2023ICCV}	        & 78.67    & 85.48\%   & --                 & --    \\
			GPA-3D \cite{GPA-3D2023ICCV}        & 78.51    & 84.97\%   & --                 & --    \\
			DTS \cite{Density2023CVPR}          & 78.40    & 84.63\%   & 86.42              & 90.61\%  \\
			PERE \cite{PERE2024CVPR}	        & \underline{78.82}    & 85.95\%   & \underline{86.82}              & 92.05\%    \\
			Ours                                & \textbf{78.96}       & \textbf{86.39}\%   & \textbf{87.39}     & \textbf{94.10}\%    \\
			Oracle                              & 83.29    & --        & 89.03              & --\\
			\hline
			
		\end{tabular}
	\end{center}
\end{table}

对于域自适应任务Waymo$\rightarrow$KITTI和nuScenes$\rightarrow$KITTI，实验在AP方面分别大幅提高了性能，Closed Gap提高了69\% ~ 87\%，这在很大程度上缩小了Source Only与Oracle之间的性能差距。然而，实验在Waymo$\rightarrow$nuScenes域自适应任务时，性能提升相对较小。

\section{后续研究计划}

本课题拟采用后期研究计划安排如下：

1) 改进原型生成方法，优化Transformer转换器，进一步提升实验性能。

2) 分析Waymo→nuScenes域自适应任务(在PVRCNN检测器上)实验性能较低的原因并进行改进。

3) 补充消融实验。(只做前景原型对齐、只做背景原型对齐，以及背景前景特征都与对应的原型对齐, 会怎样?)预计将在Waymo → KITTI数据集上开展所有的消融实验，并通过比较AP来验证算法的域对抗学习、可学习原型、特征对齐方法等部分的作用，并进行鲁棒性分析、错误分析等。

4) 撰写毕业论文草稿。


\nocite{*} %% 作用是不对文献进行引用，但可以生成文献列表

\bibliographystyle{Mid_Report}
\bibliography{Mid_Report}
\setcounter{secnumdepth}{0}

\clearpage
\thispagestyle{empty}
\scoring
\clearpage

\end{document}